See2Think: Do Multimodal Models Really Use Intermediate Visual States?
See2Think：衡量多模态模型是否真正利用了中间视觉状态
🧭 多模态推理过程诊断与评估
Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Central South University · The Hong Kong University of Science and Technology (Guangzhou) · University of Science and Technology of China
构建统一评估框架See2Think，诊断多模态推理中中间视觉状态的生成、渲染与利用瓶颈
📌 工作参考价值（4 点）
- 在电商搜索、推荐解释或商品问答的Agent流程中，若引入中间草图、标注等视觉操作，可借鉴VAoT框架记录每一步的视觉动作、渲染结果与后续利用，诊断渲染失败导致的错误传播。
- 设计多模态Agent时，避免仅依赖最终答案评估，而应分析视觉状态的忠实渲染与反馈吸收率，尤其在3D商品展示或场景理解任务中，即使模型选择正确操作，渲染瓶颈仍会大幅降低准确率。
- 通过任务相关的损坏反馈干预，可量化模型对中间视觉状态的行为依赖性，这对于验证Agent是否真实依赖视觉信息（如商品图像局部特征）而非文本捷径具有实操价值。
- 发现高反馈吸收率不一定转化为准确率提升，提示在Agent中盲目增加视觉反馈机制可能无效，应先确保渲染环节准确可靠。